WebCodecs koduotuvo profilis: Aparatinės įrangos kodavimo konfigūracijos įvaldymas

WebCodecs API yra galinga sąsaja, leidžianti žiniatinklio kūrėjams tiesiogiai pasiekti ir valdyti garso bei vaizdo kodekus naršyklėje. Tai atveria naują medijos apdorojimo valdymo lygį, leidžiantį tiesiogiai žiniatinklio programose įgyvendinti tokias funkcijas kaip realaus laiko vaizdo redagavimas, mažos delsos srautinis perdavimas ir pažangus medijos valdymas. Svarbus aspektas, norint efektyviai išnaudoti WebCodecs, yra koduotuvo profilių supratimas ir konfigūravimas, ypač naudojant aparatinį kodavimą.

Kas yra aparatinis kodavimas?

Aparatinis kodavimas perkelia skaičiavimams imlią vaizdo kodavimo užduotį iš CPU į specializuotą aparatinę įrangą, paprastai GPU arba tam skirtą vaizdo koduotuvo lustą. Tai suteikia keletą reikšmingų pranašumų:

• Sumažinta CPU apkrova: Atlaisvinus CPU, kitos užduotys gali veikti sklandžiai, pagerinant bendrą programos reakcijos laiką.
• Pagerintas našumas: Aparatiniai koduotuvai yra optimizuoti vaizdo apdorojimui, todėl kodavimas vyksta greičiau.
• Mažesnis energijos suvartojimas: Daugeliu atvejų aparatinis kodavimas yra efektyvesnis energijos požiūriu nei programinis kodavimas, o tai ypač svarbu įrenginiams su baterijomis.

Tačiau, norint visapusiškai pasinaudoti aparatinio kodavimo privalumais, reikia atidžiai sukonfigūruoti koduotuvo profilį, kad jis atitiktų jūsų konkrečius poreikius ir pagrindinės aparatinės įrangos galimybes. Šiame vadove bus aptariami pagrindiniai aspektai ir konfigūravimo parinktys.

Koduotuvo profilių supratimas

Koduotuvo profilis – tai nustatymų rinkinys, apibrėžiantis, kaip koduojamas vaizdo srautas. Šie nustatymai apima:

• Kodekas: Naudojamas vaizdo glaudinimo algoritmas (pvz., H.264, VP9, AV1).
• Skiriamoji geba: Vaizdo kadrų plotis ir aukštis.
• Kadrų dažnis: Kadrų skaičius per sekundę (FPS).
• Bitų sparta: Duomenų kiekis, naudojamas kiekvienai vaizdo sekundei pavaizduoti (matuojamas bitais per sekundę arba kbps/Mbps).
• Profilis ir lygis: Naudojamų kodeko funkcijų apribojimai, turintys įtakos suderinamumui ir našumui.
• Aparatinio spartinimo parinktis: Nurodymai naršyklei dėl pageidaujamo kodavimo metodo.
• Delsos režimas: Konfigūracija, skirta optimizuoti srautą mažesnei delsai tokioms programoms kaip tiesioginis srautinis perdavimas.

Naudojant WebCodecs, šiuos nustatymus apibrėžiate VideoEncoderConfig objekte, kuris vėliau perduodamas VideoEncoder configure() metodui.

Pagrindinės aparatinio kodavimo konfigūravimo parinktys

Keletas konfigūravimo parinkčių tiesiogiai įtakoja, ar bus naudojamas aparatinis kodavimas ir koks bus jo efektyvumas.

1. Kodeko pasirinkimas

Kodeko pasirinkimas yra jūsų kodavimo profilio pagrindas. Nors WebCodecs palaiko įvairius kodekus, aparatinio spartinimo prieinamumas priklauso nuo kodeko ir įrenginio galimybių. Dažniausiai palaikomi kodekai su aparatinės įrangos spartinimu apima:

• H.264 (AVC): Plačiausiai palaikomas kodekas su puikiu aparatinės įrangos spartinimu daugelyje įrenginių. Tai saugus pasirinkimas siekiant plataus suderinamumo.
• VP9: Google sukurtas nemokamas kodekas, siūlantis geresnį glaudinimo efektyvumą nei H.264. Aparatinės įrangos palaikymas didėja, ypač naujesniuose įrenginiuose.
• AV1: Dar vienas nemokamas kodekas, siūlantis dar geresnį glaudinimą nei VP9. Aparatinės įrangos palaikymas vis dar vystosi, bet populiarėja.
• HEVC (H.265): Žinomas dėl didelio glaudinimo laipsnio. Aparatinio spartinimo palaikymas priklauso nuo įrenginio ir dažnai reikalauja licencijavimo.

Pavyzdys (H.264 konfigūracija):

            const config = {
  codec: 'avc1.42E01E', // H.264 bazinio lygio profilis, 3.0 lygis
  width: 1280,
  height: 720,
  framerate: 30,
  bitrate: 2000000, // 2 Mbps
  hardwareAcceleration: 'prefer-hardware',
};

            

              
                Copy
              
            
          

Svarbi pastaba: Norėdami garantuoti aparatinį kodavimą, turite naudoti kodeką, kurį aparatinė įranga konkrečiai palaiko. Naršyklė grįš prie programinio kodavimo, jei aparatinės įrangos palaikymas nebus pasiekiamas, o tai gali panaikinti našumo pranašumus. Ypač svarbu aptikti funkcijas naudojant navigator.mediaCapabilities API, siekiant nustatyti, ar kodekas yra aparatiškai spartinamas. Dėl tinkamų kodeko eilutės formatų žiūrėkite naršyklės dokumentaciją.

2. Aparatinio spartinimo parinktis

Parinktis hardwareAcceleration VideoEncoderConfig objekte leidžia nurodyti pageidavimą dėl aparatinio ar programinio kodavimo. Galimos reikšmės:

• "prefer-hardware": (Rekomenduojama) Tai nurodo naršyklei teikti pirmenybę aparatiniam kodavimui, jei jis yra prieinamas. Jei aparatinis kodavimas nepalaikomas nurodytam kodekui ar konfigūracijai, naršyklė grįš prie programinio kodavimo.
• "prefer-software": Tai nurodo naršyklei teikti pirmenybę programiniam kodavimui. Tai gali būti naudinga derinant arba kai įtariate aparatinio kodavimo problemas.
• "no-preference": Naršyklė pati nusprendžia, ar naudoti aparatinį, ar programinį kodavimą, remdamasi savo vidine logika.

Naudoti "prefer-hardware" paprastai yra geriausias būdas našumui užtikrinti, tačiau visada turėtumėte išbandyti įvairiuose įrenginiuose, kad užtikrintumėte suderinamumą ir stabilumą.

3. Profilis ir lygis

Tokie kodekai kaip H.264 ir VP9 apibrėžia skirtingus profilius ir lygius, kurie nustato naudojamų funkcijų apribojimus bei maksimalią palaikomą bitų spartą ir skiriamąją gebą. Tinkamo profilio ir lygio pasirinkimas yra labai svarbus aparatinės įrangos suderinamumui.

H.264 profiliai:

• Bazinio lygio profilis (Baseline Profile): Paprasčiausias profilis, plačiai palaikomas aparatinių koduotuvų.
• Pagrindinis profilis (Main Profile): Sudėtingesnis profilis, pasižymintis geresniu glaudinimo efektyvumu nei bazinio lygio.
• Aukštas profilis (High Profile): Sudėtingiausias profilis, siūlantis geriausią glaudinimo efektyvumą, tačiau reikalaujantis daugiau apdorojimo galios.

H.264 lygiai:

Lygiai apibrėžia maksimalią palaikomą bitų spartą, skiriamąją gebą ir kadrų dažnį. Aukštesni lygiai paprastai reikalauja daugiau apdorojimo galios. Lygiai svyruoja nuo 1 iki 5.2. Aparatinio kodavimo atveju, pasirinkus žemesnį profilį ir lygį, galima pagerinti suderinamumą ir našumą, ypač senesniuose įrenginiuose. Patikrinkite aparatinės įrangos galimybes, kad nustatytumėte, ar tam tikri lygiai palaikomi tiksliniams kodekams.

Pavyzdys (Profilio ir lygio nurodymas H.264):

            const config = {
  codec: 'avc1.42E01E', // H.264 bazinio lygio profilis, 3.0 lygis. 42E0 = bazinio lygio profilis, 1E = 3.0 lygis.
  width: 1280,
  height: 720,
  framerate: 30,
  bitrate: 2000000,
  hardwareAcceleration: 'prefer-hardware',
};

            

              
                Copy
              
            
          

VP9 profiliai:

VP9 palaiko 0, 1, 2 ir 3 profilius, kurių kiekvienas pasižymi didėjančiu sudėtingumu ir bitų spartos palaikymu. Profilis 0 yra dažniausiai įdiegtas aparatinėje įrangoje.

4. Skiriamoji geba ir kadrų dažnis

Didesnė skiriamoji geba ir kadrų dažnis reikalauja daugiau apdorojimo galios. Nors aparatiniai koduotuvai gali apdoroti aukštos raiškos vaizdo įrašus, viršijus aparatinės įrangos galimybes gali sumažėti našumas arba sistema grįš prie programinio kodavimo. Renkantis skiriamąją gebą ir kadrų dažnį, atsižvelkite į tikslinio įrenginio galimybes. Dažniausiai naudojamos skiriamosios gebos interneto vaizdo įrašams:

• 360p (640x360): Tinka mažo pralaidumo ryšiams ir mažesniems ekranams.
• 480p (854x480): Geras kompromisas tarp kokybės ir pralaidumo.
• 720p (1280x720): Aukštos raiškos vaizdas, tinkamas didesniems ekranams.
• 1080p (1920x1080): Visiškai aukštos raiškos vaizdas, reikalaujantis daugiau pralaidumo ir apdorojimo galios.
• 4K (3840x2160): Itin aukštos raiškos vaizdas, reikalaujantis didelio pralaidumo ir apdorojimo galios.

Įprasti kadrų dažniai apima 24, 25, 30 ir 60 FPS. Didesnis kadrų dažnis užtikrina sklandesnį judesį, bet taip pat reikalauja daugiau apdorojimo galios. Svarbu pasirinkti kadrų dažnį, tinkamą vaizdo turiniui. Pavyzdžiui, statinei prezentacijai gali ir nereikėti 60 FPS.

5. Bitų sparta

Bitų sparta nustato duomenų kiekį, naudojamą kiekvienai vaizdo sekundei pavaizduoti. Didesnė bitų sparta lemia geresnę vaizdo kokybę, bet taip pat reikalauja didesnio pralaidumo. Tinkamos bitų spartos pasirinkimas yra kompromisas tarp kokybės ir pralaidumo suvartojimo. Galite naudoti pastovią bitų spartą (CBR) arba kintamą bitų spartą (VBR). CBR palaiko pastovią bitų spartą viso vaizdo įrašo metu, o VBR koreguoja bitų spartą priklausomai nuo scenos sudėtingumo. VBR dažnai gali pasiekti geresnę kokybę esant mažesnei vidutinei bitų spartai, tačiau gali reikalauti daugiau apdorojimo galios. Eksperimentuokite, kad rastumėte optimalią bitų spartą tam tikrai tikslinei kokybei.

Ideali bitų sparta priklauso nuo skiriamosios gebos, kadrų dažnio ir naudojamo kodeko. Kaip bendros gairės:

• 360p: 500 kbps - 1 Mbps
• 480p: 1 Mbps - 2 Mbps
• 720p: 2 Mbps - 5 Mbps
• 1080p: 5 Mbps - 10 Mbps
• 4K: 15 Mbps - 30 Mbps ar daugiau

6. Delsos režimas

Programoms, reikalaujančioms mažos delsos, pavyzdžiui, tiesioginiam srautiniam perdavimui ar realaus laiko komunikacijai, parinktį latencyMode galima nustatyti į "realtime". Tai nurodo koduotuvui teikti pirmenybę mažai delsai, o ne glaudinimo efektyvumui. Įjungus šį režimą, gali būti išjungti tam tikri kodavimo optimizavimai, didinantys delsą. Tai taip pat gali paveikti naudojamą kodavimo profilį, todėl svarbu atlikti išsamius bandymus. Delsos režimas veikia tokius parametrus kaip GOP (Group of Pictures) dydis ir B-kadrų naudojimas. Norėdami pasiekti didesnį glaudinimo laipsnį, nustatykite šią parinktį į 'quality'.

            const config = {
  codec: 'avc1.42E01E',
  width: 640,
  height: 480,
  framerate: 30,
  bitrate: 1000000,
  hardwareAcceleration: 'prefer-hardware',
  latencyMode: 'realtime'
};

            

              
                Copy
              
            
          

Aparatinio kodavimo problemų šalinimas

Jei susiduriate su aparatinio kodavimo problemomis, apsvarstykite šiuos trikčių šalinimo veiksmus:

• Patikrinkite aparatinės įrangos palaikymą: Įsitikinkite, kad tikslinis įrenginys palaiko aparatinį kodavimą pasirinktam kodekui ir profiliui. Naudokite navigator.mediaCapabilities API aparatinio spartinimo funkcijos aptikimui.
• Atnaujinkite tvarkykles: Įsitikinkite, kad grafikos tvarkyklės yra atnaujintos. Pasenusios tvarkyklės gali sukelti suderinamumo problemų.
• Supaprastinkite konfigūraciją: Pabandykite naudoti mažesnę skiriamąją gebą, kadrų dažnį ar profilį, kad pamatytumėte, ar tai išsprendžia problemą.
• Testuokite skirtinguose įrenginiuose: Testuokite įvairiuose įrenginiuose, kad nustatytumėte specifines įrenginio problemas.
• Patikrinkite naršyklės konsolę: Ieškokite klaidų pranešimų ar įspėjimų naršyklės konsolėje, kurie gali suteikti užuominų.
• Grįžkite prie programinio kodavimo: Jei aparatinis kodavimas nuolat nepavyksta, apsvarstykite galimybę grįžti prie programinio kodavimo kaip patikimesnės alternatyvos. Nors ir mažiau našus, tai gali garantuoti suderinamumą.

Pavyzdys: Adaptyvusis srautinis perdavimas su aparatinės įrangos kodavimu

Adaptyvusis srautinis perdavimas (ABS) yra technika, leidžianti dinamiškai koreguoti vaizdo kokybę atsižvelgiant į vartotojo tinklo sąlygas. Tai užtikrina sklandžią peržiūros patirtį net ir svyruojant tinklo pralaidumui. Aparatinis kodavimas gali žymiai pagerinti ABS našumą, leisdamas vienu metu koduoti daugiau srautų.

Štai supaprastintas pavyzdys, kaip įgyvendinti ABS su WebCodecs ir aparatinės įrangos kodavimu:

1. Sukurkite kelis koduotuvo profilius: Apibrėžkite kelis VideoEncoderConfig objektus su skirtingomis skiriamosiomis gebomis ir bitų spartomis. Pavyzdžiui:

            const profiles = [
  {
    codec: 'avc1.42E01E',
    width: 640,
    height: 360,
    framerate: 30,
    bitrate: 500000,
    hardwareAcceleration: 'prefer-hardware',
  },
  {
    codec: 'avc1.42E01E',
    width: 854,
    height: 480,
    framerate: 30,
    bitrate: 1000000,
    hardwareAcceleration: 'prefer-hardware',
  },
  {
    codec: 'avc1.42E01E',
    width: 1280,
    height: 720,
    framerate: 30,
    bitrate: 2000000,
    hardwareAcceleration: 'prefer-hardware',
  },
];

            

              
                Copy
              
            
          

2. Stebėkite tinklo sąlygas: Naudokite Network Information API (navigator.connection) ar kitas technikas, kad stebėtumėte vartotojo tinklo pralaidumą.
3. Pasirinkite tinkamą profilį: Atsižvelgdami į tinklo sąlygas, pasirinkite VideoEncoderConfig, kuris geriausiai atitinka turimą pralaidumą.
4. Dinamiškai perjunkite profilius: Pasikeitus tinklo sąlygoms, perjunkite į kitą VideoEncoderConfig. Tai galima padaryti sukuriant naują VideoEncoder su nauja konfigūracija ir sklandžiai pereinant tarp srautų.

Aparatinis kodavimas leidžia vienu metu koduoti kelis srautus, todėl adaptyvusis srautinis perdavimas tampa efektyvesnis ir jautresnis.

Išvada

Konfigūruojant aparatinio kodavimo profilius su WebCodecs, reikia atidžiai apsvarstyti kodeką, profilį, lygį, skiriamąją gebą, kadrų dažnį ir bitų spartą. Suprasdami šias parinktis ir testuodami įvairiuose įrenginiuose, galite išnaudoti aparatinio spartinimo galią kurdami didelio našumo žiniatinklio programas su pažangiomis medijos galimybėmis. Nepamirškite teikti pirmenybės vartotojo patirčiai, įgyvendindami tokias technikas kaip adaptyvusis srautinis perdavimas ir pateikdami atsargines parinktis, kai aparatinis kodavimas nėra prieinamas. Kadangi WebCodecs ir aparatinio kodavimo palaikymas toliau tobulėja, norint maksimaliai išnaudoti žiniatinklio medijos apdorojimo potencialą, būtina sekti naujausius pasiekimus ir geriausias praktikas.

WebCodecs atveria įdomias galimybes žiniatinklio kūrėjams, leidžiančias pažangiai valdyti mediją naršyklėje. Labai svarbu patikrinti konkretų naršyklės palaikymą kodekams, profiliams ir aparatinės įrangos galimybėms naudojant navigator.mediaCapabilities. Su šiame vadove pateiktomis įžvalgomis esate gerai pasirengę pradėti eksperimentuoti ir įgyvendinti pažangiausias medijos funkcijas savo žiniatinklio programose. Aparatinio kodavimo technologijoms bręstant, WebCodecs integracija taps vis svarbesnė siekiant užtikrinti aukštos kokybės ir efektyvią vaizdo patirtį įvairiose platformose ir įrenginiuose, ypač kai naujesni kodekai, tokie kaip AV1, gauna vis platesnį aparatinės įrangos palaikymą.